人类可以利用身体互动来教机器人武器。当人类的动力学通过示范引导机器人时，机器人学习了所需的任务。尽管先前的工作重点是机器人学习方式，但对于人类老师来说，了解其机器人正在学习的内容同样重要。视觉显示可以传达此信息；但是，我们假设仅视觉反馈就错过了人与机器人之间的物理联系。在本文中，我们介绍了一类新颖的软触觉显示器，这些显示器包裹在机器人臂上，添加信号而不会影响相互作用。我们首先设计一个气动驱动阵列，该阵列在安装方面保持灵活。然后，我们开发了这种包裹的触觉显示的单一和多维版本，并在心理物理测试和机器人学习过程中探索了人类对渲染信号的看法。我们最终发现，人们以11.4％的韦伯（Weber）分数准确区分单维反馈，并以94.5％的精度确定多维反馈。当物理教授机器人臂时，人类利用单维反馈来提供比视觉反馈更好的演示：我们包装的触觉显示会降低教学时间，同时提高演示质量。这种改进取决于包裹的触觉显示的位置和分布。您可以在此处查看我们的设备和实验的视频：https：//youtu.be/ypcmgeqsjdm

当机器人与人类伴侣互动时，这些合作伙伴通常会因机器人而改变其行为。一方面，这是具有挑战性的，因为机器人必须学会与动态合作伙伴进行协调。但是，另一方面 - 如果机器人理解这些动态 - 它可以利用自己的行为，影响人类，并指导团队进行有效的协作。先前的研究使机器人能够学会影响其他机器人或模拟药物。在本文中，我们将这些学习方法扩展到现在影响人类。使人类特别难影响的原因是 - 人类不仅对机器人做出反应 - 而且单个用户对机器人的反应可能会随着时间而改变，而且不同的人类会以不同的方式对相同的机器人行为做出反应。因此，我们提出了一种强大的方法，该方法学会影响不断变化的伴侣动态。我们的方法首先在重复互动中与一组合作伙伴进行训练，并学会根据以前的状态，行动和奖励来预测当前伙伴的行为。接下来，我们通过对机器人与原始合作伙伴学习的轨迹进行采样轨迹迅速适应了新合作伙伴，然后利用这些现有行为来影响新的合作伙伴动态。我们将最终的算法与跨模拟环境和用户研究进行比较，并在其中进行了机器人和参与者协作建造塔楼的用户研究。我们发现，即使合作伙伴遵循新的或意外的动态，我们的方法也优于替代方案。用户研究的视频可在此处获得：https：//youtu.be/lyswm8an18g

虽然在各种应用中广泛使用刚性机器人，但它们在他们可以执行的任务中受到限制，并且在密切的人机交互中可以保持不安全。另一方面，软机器鞋面超越了刚性机器人的能力，例如与工作环境，自由度，自由度，制造成本和与环境安全互动的兼容性。本文研究了纤维增强弹性机壳（释放）作为一种特定类型的软气动致动器的行为，可用于软装饰器。创建动态集参数模型以在各种操作条件下模拟单一免费的运动，并通知控制器的设计。所提出的PID控制器使用旋转角度来控制多项式函数之后的自由到限定的步进输入或轨迹的响应来控制末端执行器的方向。另外，采用有限元分析方法，包括释放的固有非线性材料特性，精确地评估释放的各种参数和配置。该工具还用于确定模块中多个释放的工作空间，这基本上是软机械臂的构建块。

Lifelong learning aims to create AI systems that continuously and incrementally learn during a lifetime, similar to biological learning. Attempts so far have met problems, including catastrophic forgetting, interference among tasks, and the inability to exploit previous knowledge. While considerable research has focused on learning multiple input distributions, typically in classification, lifelong reinforcement learning (LRL) must also deal with variations in the state and transition distributions, and in the reward functions. Modulating masks, recently developed for classification, are particularly suitable to deal with such a large spectrum of task variations. In this paper, we adapted modulating masks to work with deep LRL, specifically PPO and IMPALA agents. The comparison with LRL baselines in both discrete and continuous RL tasks shows competitive performance. We further investigated the use of a linear combination of previously learned masks to exploit previous knowledge when learning new tasks: not only is learning faster, the algorithm solves tasks that we could not otherwise solve from scratch due to extremely sparse rewards. The results suggest that RL with modulating masks is a promising approach to lifelong learning, to the composition of knowledge to learn increasingly complex tasks, and to knowledge reuse for efficient and faster learning.

Optimal transport (OT) has become exceedingly popular in machine learning, data science, and computer vision. The core assumption in the OT problem is the equal total amount of mass in source and target measures, which limits its application. Optimal Partial Transport (OPT) is a recently proposed solution to this limitation. Similar to the OT problem, the computation of OPT relies on solving a linear programming problem (often in high dimensions), which can become computationally prohibitive. In this paper, we propose an efficient algorithm for calculating the OPT problem between two non-negative measures in one dimension. Next, following the idea of sliced OT distances, we utilize slicing to define the sliced OPT distance. Finally, we demonstrate the computational and accuracy benefits of the sliced OPT-based method in various numerical experiments. In particular, we show an application of our proposed Sliced-OPT in noisy point cloud registration.

We present a framework for ranking images within their class based on the strength of spurious cues present. By measuring the gap in accuracy on the highest and lowest ranked images (we call this spurious gap), we assess spurious feature reliance for $89$ diverse ImageNet models, finding that even the best models underperform in images with weak spurious presence. However, the effect of spurious cues varies far more dramatically across classes, emphasizing the crucial, often overlooked, class-dependence of the spurious correlation problem. While most spurious features we observe are clarifying (i.e. improving test-time accuracy when present, as is typically expected), we surprisingly find many cases of confusing spurious features, where models perform better when they are absent. We then close the spurious gap by training new classification heads on lowly ranked (i.e. without common spurious cues) images, resulting in improved effective robustness to distribution shifts (ObjectNet, ImageNet-R, ImageNet-Sketch). We also propose a second metric to assess feature reliability, finding that spurious features are generally less reliable than non-spurious (core) ones, though again, spurious features can be more reliable for certain classes. To enable our analysis, we annotated $5,000$ feature-class dependencies over {\it all} of ImageNet as core or spurious using minimal human supervision. Finally, we show the feature discovery and spuriosity ranking framework can be extended to other datasets like CelebA and WaterBirds in a lightweight fashion with only linear layer training, leading to discovering a previously unknown racial bias in the Celeb-A hair classification.

现有的一些作品分别研究深神经网络的对抗或自然分布鲁棒性。但是，实际上，模型需要享受两种类型的鲁棒性，以确保可靠性。在这项工作中，我们弥合了这一差距，并表明实际上，对抗性和自然分配鲁棒性之间存在明确的权衡。我们首先考虑具有与核心和虚假功能不相交的高斯数据上的简单线性回归设置。在这种情况下，通过理论和经验分析，我们表明（i）使用$ \ ell_1 $和$ \ ell_2 $规范的对抗性培训增加了对虚假功能的模型依赖； （ii）对于$ \ ell_ \ infty $ versarial训练，仅在伪造功能的比例大于核心功能的范围时才会出现伪造的依赖； （iii）对抗训练可能会在降低分布鲁棒性方面具有意外的后果，特别是当新的测试域中更改虚假相关性时。接下来，我们使用二十个经过对抗训练的模型的测试套件提出了广泛的经验证据受过训练的对应物，验证了我们的理论结果。我们还表明，训练数据中的虚假相关性（保留在测试域中）可以改善对抗性的鲁棒性，表明先前的主张表明对抗性脆弱性植根于虚假相关性是不完整的。

强化学习的许多应用都可以正式化为目标条件的环境，在每个情节中，都有一个“目标”会影响该情节中获得的奖励，但不会影响动态。已经提出了各种技术来提高目标条件环境的性能，例如自动课程生成和目标重新标记。在这项工作中，我们探讨了在目标条件设置中的损失钢筋学习与知识蒸馏之间的联系。特别是：当前的Q值函数和目标Q值估计是该目标的函数，我们想训练Q值函数以匹配其所有目标的目标。因此，我们将基于梯度的注意转移（Zagoruyko和Komodakis 2017）（一种知识蒸馏技术）应用于Q功能更新。我们从经验上表明，当目标空间高维时，这可以提高目标条件的非政策强化学习的性能。我们还表明，在多个同时稀疏目标的情况下，可以对该技术进行调整，以允许有效学习，在这种情况下，代理可以通过在测试时间指定的所有大型目标来实现奖励。最后，为了提供理论支持，我们给出了环境类别的示例，在某些假设下（在某些假设）中，标准的非政策算法至少需要O（d^2）观察到的过渡以学习最佳策略，而我们的建议技术仅需O（ d）过渡，其中d是目标和状态空间的维度。

在各种机器学习问题中，包括转移，多任务，连续和元学习在内，衡量不同任务之间的相似性至关重要。最新的测量任务相似性的方法依赖于体系结构：1）依靠预训练的模型，或2）在任务上进行培训网络，并将正向转移用作任务相似性的代理。在本文中，我们利用了最佳运输理论，并定义了一个新颖的任务嵌入监督分类，该分类是模型的，无训练的，并且能够处理（部分）脱节标签集。简而言之，给定带有地面标签的数据集，我们通过多维缩放和串联数据集样品进行嵌入标签，并具有相应的标签嵌入。然后，我们将两个数据集之间的距离定义为其更新样品之间的2-Wasserstein距离。最后，我们利用2-wasserstein嵌入框架将任务嵌入到矢量空间中，在该空间中，嵌入点之间的欧几里得距离近似于任务之间提出的2-wasserstein距离。我们表明，与最佳传输数据集距离（OTDD）等相关方法相比，所提出的嵌入导致任务的比较显着更快。此外，我们通过各种数值实验证明了我们提出的嵌入的有效性，并显示了我们所提出的距离与任务之间的前进和向后转移之间的统计学意义相关性。

数据中毒考虑了一个对手，该对手扭曲了用于恶意目的的机器学习算法的训练集。在这项工作中，我们揭示了一个关于数据中毒基本原理的猜想，我们称之为致命的剂量猜想。猜想指出：如果需要$ n $清洁的训练样品才能进行准确的预测，则在尺寸 - $ n $训练套件中，只能在确保准确性的同时耐受$ \ theta（n/n）$中毒样品。从理论上讲，我们在多种情况下验证了这一猜想。我们还通过分配歧视提供了对这种猜想的更普遍的看法。深度分区聚合（DPA）及其扩展，有限聚合（FA）是可证明防御数据中毒的可证明防御方法的方法，他们通过使用给定的学习者从不同的培训集中训练的许多基本模型对许多基本模型进行了预测。猜想意味着DPA和FA都是最佳的 - 如果我们拥有最高的学习者，它们可以将其变成针对数据中毒的最强大的防御能力之一。这概述了一种实用方法，可以通过寻找数据效率的学习者来开发更强大的防御能力。从经验上讲，作为概念的证明，我们表明，通过简单地为基础学习者使用不同的数据增强，我们可以分别将DPA在CIFAR-10和GTSRB上的认证稳健性和三倍，而无需牺牲准确性。